Memory manipulations in extended reality

Abstract

  • 인간의 기억엔 ‘망각’ 등 명백한 제약들이 존재. 제약을 보완하기 위해 달력 등 외부 도구를 사용
  • R에서 지각의 한계를 활용하는 사례가 늘고 있음: 예: Redirected walking
  • 유사하게, XR에서 기억의 한계(망각, 왜곡 등)를 활용할 방안을 살펴보고자 함: XRMMs (XR Memory Manipulations; XR 기억 조작)
  • 참가자 12명, 48개 XRMM 시나리오를 바탕으로 Speculative design workshop을 진행한 후 thematic analysis 수행하여 세 개 범주의 핵심 요소를 추출
  • XRMM의 윤리적 문제 및 기회 등을 논의

Introduction

인간의 기억엔 여러 제약이 있음

  • 장기 기억의 망각
  • 왜곡 (지각 당시와 달리 변형)
  • 영속성 (어떤 기억은 잊혀질 수 없음): “This is the unwanted recurrence of memories that you’d rather forget, like traumatic events or negative experiences. These memories can persist and cause distress even when you try to suppress them.” (The seven sins of memory - How the mind forgets and remembers)

제약을 보완하기 위해 여러 도구를 사용

  • 달력에 기념일이나 일정 기록하기
  • 글, 사진, 비디오 남기기

XR 기기가 근미래에 인지 증강, 특히 기억 증강을 위한 보편적 도구로 사용될 것으로 예상. VR로 과거 기억을 회상하면 일화기억 향상에 도움을 준다는 연구가 있음.

한편 기억의 제약을 활용하여 기억을 조작하는 것도 가능

  • 기억의 암시가능성suggestibility: 사진을 조작하면 거짓 기억을 심을 수 있다는 연구가 있음
  • XR은 2D 사진에 비해 더 풍부한 매체이므로 거짓 기억 심기 뿐 아니라 전반적인 기억 조작이 가능
  • XR을 활용하여 폭넓은 지각 조작(Perception manipulation)도 가능(저자들의 이전 연구)한데, 기억 조작은 자기 인식, 사회적 상호작용, 행동 등에 영향을 줌으로써 지각 조작에 비해 더 침습적이고 더 장기적인 영향을 미칠 가능성이 있음
  • 따라서 XR을 이용한 기억 조작의 가능성과 한계에 대한 연구가 필요

연구 방법 요약

  • XRMM의 범위를 폭넓게 탐색하기 위해 세 번의 Speculative design workshop을 진행
  • 각 워크숍에는 XR 연구자 2명, 기억에 전문성이 있는 인지심리학 연구자 2명이 각각 참여(4명 * 3회 = 총 12명)
  • 각 워크숍에서 전문가들은 XR을 활용한 기억 조작 가능성에 대한 근미래의 시나리오를 작성. 총 48개의 시나리오가 만들어짐
  • 기술적, 인지적 관점에서 구현 가능성이 높은 시나리오 22개를 추려서 더 깊게 논의 (13개는 긍정적 의도, 9개는 부정적 의도)
  • 논문 저자 중 3인이 정성 데이터에 코딩을 하였고 총 7회의 세션(각 4시간)을 통해 주제 분석을 하여 주제와 메커니즘을 추출

결과 요약

  • XRMMs의 정의: “perceptual manipulations grounded in memory limitations with the intention to impact memories, leading to long-term effects on users, through the self, social and directive functions of autobiographic memory”
  • 기억 조작의 핵심 요소 다섯 가지: context, memory mechanism, implementation, memory functions, and final goal
  • 사용된 기술과 결과를 기준으로 세 개 범주를 추출:
      1. manipulations occurring at encoding (i.e., simultaneously as the original perception of the event), which aim at influencing the quality of memory encoding and predominantly rely on Augmented Reality (AR) technologies (e.g., steering user attention with AR to make the encoding of memories stronger);
      1. manipulations occurring at retrieval (i.e., when past events are digitally revisited), which aim at distorting the perception of a past event and predominantly rely on immersive reconstruction of scenes in Virtual Reality (VR) (e.g., altering a recording of prior event to overwrite the original memory);
      1. manipulations occurring pre-retrieval (i.e., just before the memory is remembered), which aim at inducing forgetting (e.g., hiding elements in AR to help someone to forget something).
  • 토의 과정에서 대부분의 전문가가 윤리적 위험성을 언급

이 연구의 기여

  • The definition of XRMMs and a framework presenting the core components that characterize these manipulations;
  • The classification of three classes of memory manipulation in XR and insights about their unique technical characteristics and outcomes grounded in ongoing cognitive psychology and XR research.

Background

Human Memory

기억엔 여러 형태가 있으나 이 연구에서는 장기 기억에 집중.

장기 기억의 형성은 세 단계로 구성됨

  • 인코딩encoding: 감각 기관을 통해 새 정보를 획득
  • 저장storage: 시간의 흐름에 따른 정보의 유지 및 관리
  • 인출retrieval: 저장된 기억의 회상recall 또는 재인recognition

장기 기억 중에서도 자전적 기억에 집중하겠음.

  • 자전적 기억이란? 개인적 경험 및 스스로에 대한 일반적 지식들의 모음
  • 자전적 기억의 기능:
      1. 자아 기능: 개인성, 믿음 등 자기 일관성self-coherence 유지하기
      1. 사회적 기능: 타인과의 관계를 만들고 유지하기
      1. 지향 기능: 현재와 미래의 생각과 행동을 가이드하는 기능
  • 자전적 기억의 조작은 사용자에게 장기적인 영향을 미칠 가능성이 있음

Extended Reality (XR)

본 연구는 특정 형태의 VR 또는 AR이 아닌 Milgram Continuum의 모든 범주를 염두에 두고 있음. XR로 통칭.

Milgram Continuum이란? 완전한 Real Environment와 완전한 Virtual Environment 사이의 스펙트럼.

Related Work

Memory Aids

기존 HCI의 기억 관련 연구는 기억을 보조하는 분야에 집중

  • 기억 프로세스를 돕는 기술과 기억을 꺼내놓는offloading 기술. 예: XR을 활용한 기억 궁전
  • 단, 기억을 꺼내놓는 기술은 기억에 부정적 영향을 미칠 수 있으며 조작에 취약할 수 있음. 예: 달력 등

Risks of Offloading Memory

기억을 꺼내놓는 기술과 관련한 위험성에 대한 연구들이 있음

  • 기록용 도구가 오히려 주의를 분산시켜서 기억의 인코딩에 영향을 줄 수 있음
  • 지나치게 외부 도구에 의존할 경우 점점 더 기억을 적게 하게 되는 부작용, 외부 도구에 저장한 기록이 조작될 경우 기억이 왜곡되는 부작용이 생길 수 있음

Perceptual Illusions and Manipulations

Redirected walking 연구는 시각 및 청각을 조작하여 걷기에 영향을 줄 수 있음을 밝힘.

지각 조작(Perception manipulation; 저자들의 이전 연구)은 악용될 경우 사용자에게 위해를 끼칠 수 있음.

XR Memory Manipulations

기억의 제약을 보완할 방법에 대한 연구는 많으나 제약을 다른 방식으로 활용하는 방법에 대한 연구는 거의 없음. 본 연구는 XR을 활용한 기억 조작의 가능성을 폭넓게 살펴보고 가능성과 위험성을 더 깊게 이해하는 것.

Method

Participants

가능한 XRMM 시나리오들을 탐색하기 위해 XR을 연구하는 HCI 연구자 6명, 인간의 기억을 연구하는 인지심리학 연구자 중 XR에 익숙한 6명을 섭외 (age: M=28.7, SD=4 years)

워크샵을 3회 진행. 각 회차는 XR 전문가 2인과 기억 전문가 2명으로 구성. 이를 통해 한 세션에서 같은 분야 사람끼리의 토의, 다른 분야 사람끼리의 토의가 모두 가능하도록 하였음.

Workshop Procedure

XR은 아직 스마트폰 등에 비해 일상화되지 않았으므로 사변적 디자인 워크샵을 통해 가능성을 폭넓게 탐색

각 세션은 3시간, Zoom과 Miro를 써서 온라인으로 진행. 다음 순서로 구성:

  • 소개
  • 개별적 브레인스토밍: 각자 최대한 많은 시나리오를 만들게 함
  • 토의: 각자 짧게 본인이 만든 시나리오를 소개하고 함께 토론한 후 기술적/인지적 가능성을 기준으로 평가하고 장점이나 위험성을 분류하도록 하여 토론을 장려. 토론은 모두 녹화하여 텍스트로 전사하였음.

시나리오 템플릿: “In this scenario, USER NAME AND DESCRIPTION uses XR to PURPOSE. This app manipulates user’s memory by MANIPULATION IMPLEMENTATION DESCRIPTION. This app leverages MEMORY FLAW LEVERAGED in order to IMPACT / AIM OF MANIPULATION which is facilitated by XR FEATURE.”

Data Collection

총 74개 시나리오가 만들어졌고 이 중 25개에 대한 토의가 이루어짐(표 5)

Thematic Analysis

토의가 이루어진 25개 시나리오의 토론 기록에 정성 분석(코딩)을 하였음.

분석 순서:

  1. 코더 세 명이 코딩북을 생성(deductive coding)
  2. 일단 각자 텍스트를 그냥 읽고, 각각 시나리오에 대해 토의
  3. 코딩북에 따라 코딩을 시작
  4. 코드북에 없는 코드가 필요한 것 같으면 세 사람 모두 동의한 경우에만 추가(inductive coding).
  5. 코드를 주제에 따라 분류하고 더 큰 구조와 개념으로 정리

Scenarios Exclusion

코딩을 마친 후 XRMM에 대한 정의를 내리고 이 정의에 부합하지 않는 시나리오를 제거(표3 중 S23, S24, S25). 토의하지 않았던 시나리오 26개를 추가하여 통 48개(25 - 3 + 26 = 48)의 XRMM 시나리오를 얻어냄.

단, 본 논문에서 이후에 언급하는 시나리오는 토의했던 시나리오 22개를 지칭.(표3 중 S1-S22)

Results

Definition XRMMs

Perceptual Manipulations: “Perceptual manipulations are mechanisms grounded in limitations of users’ cognition and perception with a clear intention to influence users towards a specific outcome”

XR Memory Manipulations: “XRMMs are perceptual manipulations grounded in memory limitations with the intention to impact memories, leading to long-term effects on users, through the self, social and directive functions of autobiographic memory.”

Virtual-Physical Perceptual Manipulations: “VPPMs are perceptual manipulations that are grounded in visual-haptic limitations with the intention to nudge the user’s physical movements.”

XRMMs Framework

다섯 개의 핵심 요소:

  • 맥락context: 조작하는 자, 조작 당하는 자, 조작이 일어나는 프로그램
    • 22개 중 10개 시나리오가 트라우마나 기억 관련 문제를 겪고 있는 사람을 돕거나 해치는 사례
    • 22개 중 6개 시나리오에서 조작하는 자와 조작 당하는 자는 동일 인물
    • 훈련 프로그램, 소셜 미디어 등 다양한 프로그램이 있었음
  • 기억 메커니즘memory mechanism
    • 14개 시나리오에서는 기억 메커니즘의 제약을 긍정적 또는 부정적 방향으로 활용
    • 8개 시나리오에서는 기억 메커니즘의 제약을 보완
  • 구현implementation: 실제 세상에 존재하지 않는 정보를 추가하기, 있는 정보를 제거하거나, 수정하기
  • 결과outcome: 기억을 저장encoding, 인출retrive하는 과정에 영향을 주거나 과거의 기억을 다르게 인식하게 하는 등의 결과
  • 최종 목표final goal: 위 결과는 자신감을 고양시키기, 트라우마 치료하기 등의 최종 목표에 기여

Threat Model

조작하는 자가 조작 당하는 자의 의사결정에 개입하는 등의 목적을 가지고 악의적으로 활용할 가능성이 있음. 이를 실행할 수 있는 경로들:

  • 합의하지 않은 조작non-consensual manipulation. 해킹 등.
  • 권력 남용exploiting a position of power: 돌봄이, 의료용으로 XR 기기를 활용하는 전문가 등이 악의적으로 활용하는 경우.
  • 합의 하에 불순한 목적으로 조작하기consensual, incentivized manipulation: 디셉티브 패턴 등.

Classes of XRMMs

At Encoding, Pre-retrieval, At Retrieval. (그림 4)

XRMMs at Encoding

지각이 일어나는 그 순간에 개입하기. 인코딩 시점에 무엇이 장기 기억에 저장되는지 정해지므로 중요

Influencing Encoding by Inducing Emotions

  • 근거: 정서는 인지의 전 과정에 관여하며 특히 기억에 매우 중요. 긍정적 정서는 학습을 장려한다는 연구가 있음. 스트레스나 공포 등 부정적 정서도 강도에 따라 기억의 품질에 영향을 주거나 기억을 변형alter할 수 있음.
  • 시나리오:
    • S2: “You’ll Remember the Unlikely Risky Event”. 운전 연습용 앱에서 적당한 스트레스 상황을 연출하여 훈련을 돕는다는 시나리오
    • S1: “Peak-End Rule”. XR 경험 중 긍정적 정서를 유도하여 전반적으로 긍정적이고 행복한 기억을 남기도록 하여 자기인식self-perception을 개선한다는 시나리오

Influencing Encoding by Steering Attention

  • 근거: 인간은 모든 지각을 기억할 수 없음. 주의attention이 기억에 강한 영향을 줌.
  • 시나리오:
    • S6: “This You Should Remember”. 요점에 하이라이트를 해주는 AR.
    • S4: “Attention Detector”. Eye-tracker 등으로 주의력결핍장애가 있는 사람들의 주의를 관찰하고 유도하여 학습을 돕기
    • S5: “Encoding Enhancer”. 주의를 분산시키는 주변 요소들을 흐리게 만드는 등의 기법으로 주의를 유도하여 학습을 돕기
    • S3: “Make Forget”. 공격자가 타겟의 AR 화면을 조작하여 지갑을 훔치기.

Discussion

  • 기술적 난점:
    • 여러 연구에 따르면 XR을 활용하여 정서를 유발할 수 있음.
    • 여러 연구에 따르면 XR로 주의를 유도할 수 있음.
    • 주의를 유도하려면 무엇이 중요한지 실시간으로 탐지하는 AI 기술이 필요. 객체 인식 기술 등이 최근 빠르게 발전 중. (예: Segment Anything)
  • XR의 역할:
    • 기존 앱으로도 가능했으나 XR(특히 AR)은 시야를 직접적으로 조작할 수 있다는 점에서 더 강력
  • 목적:
    • 대체로 기억을 강화하거나 주의력을 향상시키는 긍정적 시나리오. 비장애인 뿐 아니라 주의력결핍장애가 있는 사람에게도 유용할 것
    • S3의 경우 주의력을 산만하게 만드는 등의 기법으로 AR을 악용 (MI - Dead Reckoning?)

XRMMs at Retrieval

인출retrieval 단계에서 기억된 내용이 변할 수 있고, 인출을 함으로써 새로운 기억이 형성될 수도 있음

Influencing Perception through Reflection

  • 근거: 반성reflection은 과거의 경험을 재검토하고 새로운 틀을 짜는 일. 이 과정에서 기억이 적극적으로 재검토됨.
  • 시나리오:
    • S8: “Traumatic Memory”. PTSD를 겪는 사람이 치료 세션 중 해당 사건을 다시 경험하도록 유도. 당시엔 몰랐으나 지금을 알고 있는 정보를 활용하여 당시 경험을 다시 검토하도록 하기. “Virtual Reality Exposure Therapy”라는 이름으로 이미 많은 연구가 진행됨.
    • S9: “Couple Game”. 커플이 상대방의 기억을 경험하도록 하여 서로를 더 잘 이해하게 돕기.
    • S12: “Shame Reminder”. 부끄러운 기억을 다시 회상하게 만들어서 수치심 주기.
    • S13: “Naked Man VR”: 사용자의 트라우마를 유발하고 돈을 내면 벗어날 수게 하여 수익화하기.

Distorting Memories through Suggestions

  • 근거:
    • 오귀인misattribution: 기억이 존재하지만 출처가 잘못 연결된 것. 예: 어떤 사건을 직접 겪었다고 기억하지만 사실은 그 사건에 대한 사진을 본 것. 기억 인출 과정에서 잘못 유추되어 나타나기도 함.
    • 암시가능성suggestibility: 인코딩과 인출 사이에 새 정보가 추가될 경우 기억이 왜곡될 수 있음.
  • 시나리오:
    • S18: “Buy a Friend”. 타인의 AR 영상 기록에 본인을 “삽입”하여 타인이 해당 영상을 재생할 때 기억이 왜곡되도록 하기.

Discussion

  • 기술적 난점:
    • 3D 형태로 사건을 기록하기. 입체 캡쳐volumetric capture 기술은 어느 정도 상용화되었음
    • 3D 개체를 삽입하기: 생성AI의 발전으로 상당히 가능성이 높아짐
  • XR의 역할:
    • 기존 매체로도 됐지만 효과를 더 극대화할 수 있음
  • 목적:
    • 과거를 더 잘 이해하기, 더 긍정적으로 프레이밍하여 덜 괴롭게 만들기
    • 스스로의 과거를 더 긍정적으로 변형해서 자신감을 높여주기
    • 트라우마를 자극하여 괴롭하기
    • 타인의 기억을 왜곡해서 더 친해지기

XRMMs Pre-retrieval

사건은 발생했으나 아직 기억에 저장되기 사이의 사점에 개입이 가능.

Inducing Forgetting by Hiding Memory Cues

  • 근거: 상실transience이란 시간의 흐름에 따른 기억의 약화나 소멸되는 현상. 자주 인출하면 상실을 막을 수 있음
  • 시나리오:
    • S21: “AR Eraser”. 특정인과 연결된 사물들을 제거하여 해당 인물을 잊도록 도와주는 프로그램.

Inducing Forgetting by Inducing Stress

  • 근거: 차단blocking이란 기억이 존재하지만 적절한 시점에 인출되지 못하는 현상. 유명한 배우 이름이 생각 안날 때.
  • 시나리오:
    • S22: “False Training App”. 사용자를 스트레스 상황에 몰아넣어 퀴즈를 잘 못 풀게 만들어서 학습 프로그램을 구매하게 만들기

Discussion

  • 기술적 난점:
    • AR Eraser를 구현하려면 특정 인물과 관련된 사물을 자동으로 분류할 수 있어야 하는데 이는 기술적 난점
  • XR의 역할:
    • XR이 없어도 특정 인물과 관련된 사물을 상자 안에 담아두는 식으로 치울 수 있으나 AR 기술은 치울 수 없는 사물(예: 공원의 나무)에도 적용할 수 있음.
    • False Training App은 스트레스를 유발하는 기능에 의존. XR 환경은 기존 방식보다 스트레스를 더 적극적으로 유발할 수 있음.
  • 목적:
    • AR Eraser의 경우, 나쁜 기억을 무조건 지우는 게 좋다고 할 수 있는지 의문
    • False Training App은 사기

General Discussion

주제 분석을 통해 XRMM이 다섯 가지 주요 구성요소(맥락, 기억 메커니즘, 구현, 결과, 최종 목표)로 설명하는 방법은 고안.

XRMM을 세 가지 범주(인코딩, 인출, 인출 전)로 구분할 수 있었음.

XR 연구자와 인지과학 연구자를 섞은 덕분에 speculative design workship에서 과학적 근거에 기반하여 시나리오를 만들 수 있었음.

The Good: One Step Closer to Augmenting the Human Intellect

Douglas Engelbart는 Augmenting human intellect: A conceptual framework에서 인간의 인지 능력 증강에 대해 고찰. XRMM은 D. E.의 프레임워크와 달리 ‘외부’ 도구가 아니라 기억 자체에 영향을 준다는 차이가 있음. (확장된 인지 관점에서 크게 의미있는 구분은 아님 —ak)

The Bad: One Step Closer to Losing Perceptual Integrity

인간의 지각과 기억 과정에 영향을 주는 건 지각적 무결성perceptual integrity 관점에서 위험할 수도 있음.

자율성, 주체성, 독립성 등에 영향을 줄 수 있음.

The Ugly: Who is Responsible for the Trajectory and what can the HCI Community do?

HCI, XR, 보안, 인지과학이 협업하여 XR을 이용한 지각 조작의 긍정적 측면과 부정적 측면을 폭넓게 검토할 필요가 있음.

Limitations

현재 XR 기기가 충분히 발전하지 않아서 어쩔 수 없이 speculative design workshop을 이용한 점이 아쉬움.

협력적 코딩을 했기 때문에 주제 분석 과정에서 inter-coder reliability를 측정할 수 없었음.

12명 중 11명이 서구-유럽 지역이라는 점에서 문화적 다양성이 부족.

Conclusion

XRMM을 정의하고, 다섯개의 구성요소를 추출했으며, 세 가지 유형으로 분류하였음. 다양한 형태의 구현 가능성이 높은 XRMM 기법이 존재하며, 긍정적으로 쓰일 수도 있고 악용될 우려도 있음을 보임.

2024 © ak